빅데이터 - R 사용법

>install.packages("KoNLP"); //한글 언어팩
>news<-readLines("/home/sist/news.txt") //news변수에 추가
>news //출력
>library(KoNLP) //라이브러리 추가
>install.packages("wordcloud") //단어 자르는거
>library(wordcloud)

>news2<-sapply(news,extractNoun,USE.NAMES = F) //칼럼 따로 추가 안한다
>news2
>head(unlist(news2), 30) //순서 상관없이 30개만
>news3<-unlist(news2)
>news3<-gsub("\\d+","",news3) //gsub지우는 함수, d는 모든 숫자 지워라
>news3

>write(unlist(news3),"/home/sist/news2.txt")

>news4<-read.table("/home/sist/news2.txt")

>wordcount<-table(news4)

>head(sort(wordcount, decreasing=T),20) //단어가 몇개씩 들어있는지 출력

>news4
    후예     태양       한   송중기   송혜교     사진 
      45       42       38       37       17       14 
      속     모습       이     배우       것     방송 
      13       12       11       10        9        9 
      중   드라마 송중기가 송중기와     진구   ‘태양 
       9        8        8        8        8        7 
    눈길 송중기는 
       7        7

>wordcloud(names(wordcount),freq = wordcount, scale = c(5,1), rot.per = 0.25, min.freq = 2, random.order = F,color=rainbow(15))

   빈도수                     크기               로테이션            최소 몇번나와야

>legend(0.3,1,"뉴스",cex=0.8,fill = NA, border=NA, bg="white", text.col = "red", text.font = 2, box.col = "red")

>read.csv("file_name",header=T,sep=",") //파일 읽기

>read.table("file name") //자동으로 컬럼 생성 (v1, v2, v3... 로 생김)

>readLines("file name") //txt파일 읽을때 한줄씩

//excel 읽을땐 라이브러리 다운

>c(1,2,1,2) //벡터, 1차원배열

// 2차원배열은 테이블로

>barplot(emp$sal, names.arg = emp$ename, main = "Emp Salary", col = rainbow(15)) //막대그래프

//emp.sal                                                  제목

>pie(emp$sal, labels = emp$ename, col = rainbow(15)) //원그래프

>a<-c(1,2,3,4,5,6,7,8,9,10) // 1차원 배열

>a<-c(1:10) // : 은 루프

[1]  1  2  3  4  5  6  7  8  9 10

>a<-seq(1,20) // 시퀀스 1부터 20까지

[1]  1  2  3  4  5  6  7  8  9 10 11 12 13 14 15 16 17 18
[19] 19 20

> rep(1:2,3) // 1부터 2까지 3번 반복
[1] 1 2 1 2 1 2

> rep(1:2,each=5) //1부터 2까지 5번씩 반복
 [1] 1 1 1 1 1 2 2 2 2 2

> matrix(c(1:9)) //2차원 배열. c(행, 열)      배열은 1부터 시작 (자바는 0)
      [,1]
 [1,]    1
 [2,]    2
 [3,]    3
 [4,]    4
 [5,]    5
 [6,]    6
 [7,]    7
 [8,]    8
 [9,]    9

> matrix(c(1:9), nrow=3) // 3행 3열                 nrow는 행
     [,1] [,2] [,3]
[1,]    1    4    7
[2,]    2    5    8
[3,]    3    6    9

> matrix(c(1:9), ncol = 2) // ncol은 열
     [,1] [,2]
[1,]    1    6
[2,]    2    7
[3,]    3    8
[4,]    4    9
[5,]    5    1

> data.frame(x=c(1,2,3,4,5), y=c(2,4,6,8,10)) // 데이터 프레임
  x  y
1 1  2
2 2  4
3 3  6
4 4  8
5 5 10

> data.frame(col1=c(1,2,3,4,5), col2=c(2,4,6,8,10), col3=c('a','b', 'c','d','e'))
  col1 col2 col3
1    1    2    a
2    2    4    b
3    3    6    c
4    4    8    d
5    5   10    e

> d<-data.frame(col1=c(1,2,3,4,5), col2=c(2,4,6,8,10), col3=c('a','b', 'c','d','e'))
> d[2, c("col1","col2")] // 2번째 값 가져와라
  col1 col2
2    2    4

> array(c(1:12),dim=c(3,4)) // 3행 4열로 
     [,1] [,2] [,3] [,4]
[1,]    1    4    7   10
[2,]    2    5    8   11
[3,]    3    6    9   12

> list(name="scott", sal=3000) //앞에가 key, 뒤에가 키값
$name
[1] "scott"

$sal
[1] 3000

> x<-c("a","b","c")
> x[1] // 배열 값 찾기
[1] "a"

> x<-c(1,3,4)
> names(x)<-c("scott","king","jones") // names는 타이틀 주기. 타이틀이 있어야 값 가져올 수 있음
> x
scott  king jones 
    1     3     4

> emp[emp$sal==3000,c("ename","sal")] // 조건주기
   ename  sal
8  SCOTT 3000
13  FORD 3000

> emp[emp$job=='CLERK',c("ename","job")]
    ename   job
1   SMITH CLERK
11  ADAMS CLERK
12  JAMES CLERK
14 MILLER CLERK

> 5/2 // 나누기 하면 실수값 나옴
[1] 2.5
> 5%%2 // 나머지값은 퍼센트 두개
[1] 1

/*

in = %in%

like = grep

is null = is.na

between ~ and = &

*/

//sql 사용

install.packages("data.table")
install.packages("sqldf")
library(data.table)
library(sqldf)
sqldf("select ename,sal,job from emp")

> data.table(unique(emp$deptno)) // 중복 허용 안함
   V1
1: 20
2: 30
3: 10

> attach(emp) // emp$ 를 사용하지 않기 위해서. 값 뽑을때 칼럼 이름만 써주면 됨

> detach(emp) //attach 해제법

> emp[emp$job!='CLERK',c("ename","job")]  //CLERK 이 아닌사람
    ename       job
2   ALLEN  SALESMAN
3    WARD  SALESMAN
4   JONES   MANAGER
5  MARTIN  SALESMAN
6   BLAKE   MANAGER
7   CLARK   MANAGER
8   SCOTT   ANALYST
9    KING PRESIDENT
10 TURNER  SALESMAN
13   FORD   ANALYST

> emp[emp$job %in% c('CLERK','SALES'),c("ename","job")]
    ename   job
1   SMITH CLERK
11  ADAMS CLERK
12  JAMES CLERK
14 MILLER CLERK

// 시작할때 ^, 끝날때 $

> emp[grep("^A.*",ename), c("ename","job")] // = grep("^A.*", ename) ename like 'A%'(%A)
   ename      job
2  ALLEN SALESMAN
11 ADAMS    CLERK

> emp[grep("*.T$", ename), c("ename", "job")]
  ename     job
8 SCOTT ANALYST

> emp[!is.na(comm),c("ename","comm")] // null 대신 is.na  (여기서는 na로 되어있어야 null로 인식)
    ename comm
1   SMITH NULL
2   ALLEN  300
3    WARD  500
4   JONES NULL
5  MARTIN 1400
6   BLAKE NULL
7   CLARK NULL
8   SCOTT NULL
9    KING NULL
10 TURNER    0
11  ADAMS NULL
12  JAMES NULL
13   FORD NULL
14 MILLER NULL

/*

조인하기.

'선거' 를 검색했을때 naver, daum, nate, google, twitter 에서 가져올 수 있음.

하나로 묶어서 가져오기 위해 조인걸기.

*/

>install.packages("doBy") // 출력 시 order by 하기 위한 패키지

> library(doBy)
> emp[order(sal,decreasing = T),c("ename","sal")] // decreasing = True 주면 desc
    ename  sal
9    KING 5000
8   SCOTT 3000
13   FORD 3000
4   JONES 2975
6   BLAKE 2850
7   CLARK 2450
2   ALLEN 1600
10 TURNER 1500
14 MILLER 1300
3    WARD 1250
5  MARTIN 1250
11  ADAMS 1100
12  JAMES  950
1   SMITH  800

> emp[order(deptno, -sal), c("ename", "sal", "deptno")] // 이중 정렬  '-'붙이면 desc
    ename  sal deptno
9    KING 5000     10
7   CLARK 2450     10
14 MILLER 1300     10
8   SCOTT 3000     20
13   FORD 3000     20
4   JONES 2975     20
11  ADAMS 1100     20
1   SMITH  800     20
6   BLAKE 2850     30
2   ALLEN 1600     30
10 TURNER 1500     30
3    WARD 1250     30
5  MARTIN 1250     30
12  JAMES  950     30

> Sys.Date()+as.difftime(4,units = "weeks") // 4주후의 날짜
[1] "2016-04-30"

> format(Sys.Date(), "%A") // 오늘날짜
[1] "토요일"

> Sys.Date()+as.difftime(100, units = "days") // 100일 후의 날짜
[1] "2016-07-11"

> aggregate(sal~job, emp, max) // = select max(sal) from emp group by job
        job  sal
1   ANALYST 3000
2     CLERK 1300
3   MANAGER 2975
4 PRESIDENT 5000
5  SALESMAN 1600

> aggregate(sal~deptno, emp, max) // 부서별로 가장 많이 받는
  deptno  sal
1     10 5000
2     20 3000
3     30 2850

> aggregate(sal~deptno, emp, sum) // 합
  deptno   sal
1     10  8750
2     20 10875
3     30  9400

// 마지막 인자에 max, sum, length(수), mean(위도, 경도에서 많이 사용. 평균값 구함), min 사용 가능

> data.frame(max(emp$sal), min(emp$sal), sum(emp$sal), mean(emp$sal), length(emp$sal))

                    최대                  최소                  합                     평균                     개수

  max.emp.sal. min.emp.sal. sum.emp.sal. mean.emp.sal.
1         5000          800        29025      2073.214
  length.emp.sal.
1              14

> dept<-read.csv("/home/sist/dept.csv",header = T,sep=",")  

// emp에서는 "ename","sal","deptno" , dept에서는 "deptno","dname","loc" 가져오는데 deptno가 같은것으로

// 오라클 = select ename, sal, deptno, dname, loc from emp, dept where emp.deptno=dept.deptno

> merge(emp[,c("ename","sal","deptno")],dept[,c("deptno","dname","loc")], by="deptno")
   deptno  ename  sal      dname      loc
1      10  CLARK 2450 ACCOUNTING NEW YORK
2      10   KING 5000 ACCOUNTING NEW YORK
3      10 MILLER 1300 ACCOUNTING NEW YORK
4      20  SMITH  800   RESEARCH   DALLAS
5      20  ADAMS 1100   RESEARCH   DALLAS
6      20  JONES 2975   RESEARCH   DALLAS
7      20   FORD 3000   RESEARCH   DALLAS
8      20  SCOTT 3000   RESEARCH   DALLAS
9      30  ALLEN 1600      SALES  CHICAGO
10     30  BLAKE 2850      SALES  CHICAGO
11     30   WARD 1250      SALES  CHICAGO
12     30 MARTIN 1250      SALES  CHICAGO
13     30 TURNER 1500      SALES  CHICAGO
14     30  JAMES  950      SALES  CHICAGO

// emp, dept 전체 조인  , select *

> x<-merge(emp,dept,by="deptno")
> x
   deptno empno  ename       job  mgr   hiredate  sal comm
1      10  7782  CLARK   MANAGER 7839 1981-06-09 2450 NULL
2      10  7839   KING PRESIDENT NULL 1981-11-17 5000 NULL
3      10  7934 MILLER     CLERK 7782 1982-01-23 1300 NULL
4      20  7369  SMITH     CLERK 7902 1980-12-17  800 NULL
5      20  7876  ADAMS     CLERK 7788 1983-01-12 1100 NULL
6      20  7566  JONES   MANAGER 7839 1981-04-02 2975 NULL
7      20  7902   FORD   ANALYST 7566 1981-12-03 3000 NULL
8      20  7788  SCOTT   ANALYST 7566 1982-12-09 3000 NULL
9      30  7499  ALLEN  SALESMAN 7698 1981-02-20 1600  300
10     30  7698  BLAKE   MANAGER 7839 1981-05-01 2850 NULL
11     30  7521   WARD  SALESMAN 7698 1981-02-22 1250  500
12     30  7654 MARTIN  SALESMAN 7698 1981-09-28 1250 1400
13     30  7844 TURNER  SALESMAN 7698 1981-09-08 1500    0
14     30  7900  JAMES     CLERK 7698 1981-12-03  950 NULL
        dname      loc
1  ACCOUNTING NEW YORK
2  ACCOUNTING NEW YORK
3  ACCOUNTING NEW YORK
4    RESEARCH   DALLAS
5    RESEARCH   DALLAS
6    RESEARCH   DALLAS
7    RESEARCH   DALLAS
8    RESEARCH   DALLAS
9       SALES  CHICAGO
10      SALES  CHICAGO
11      SALES  CHICAGO
12      SALES  CHICAGO
13      SALES  CHICAGO
14      SALES  CHICAGO

// 조인 걸린 상태에서, ~뒤에 나오는 애가 그룹 걸리는 애.(loc = 지역별) 

> aggregate(sal~loc, x, sum)
       loc   sal
1  CHICAGO  9400
2   DALLAS 10875
3 NEW YORK  8750

> tapply(x$sal, x$loc, sum) // tapply 는 가로출력
  BOSTON  CHICAGO   DALLAS NEW YORK 
      NA     9400    10875     8750 

> x<-aggregate(sal~job, emp, sum)
> barplot(x$sal, main="Salary Bar Chart", xlab = "Name", ylab = "Salary", names.arg = x$job, col = rainbow(15))   // 막대 그래프. xlab = x축 라벨

> barplot(x,ylab = "인원수", col = c("red", "yellow", "skyblue"), legend = rownames(x))  // 첨부파일

> barplot(b,col=rainbow(15), horiz=TRUE) // horiz = 막대그래프 가로로 나타내기

> x<-merge(emp, dept) // emp, dept 테이블을 merge 시켜 x 로 사용능
> attach(x)
The following objects are masked from emp:

    comm, deptno, empno, ename, hiredate, job, mgr,          // 여기있는 변수들 그냥 사용 가능
    sal